Tả Tôn Đường chỉnh đốn quân vụ, những ai không muốn tham gia quân Tây chinh đều được trở về quê, còn những ai ở lại phải chấp hành nghiêm minh kỷ luật không được tự ý dời doanh trại. Ông lệnh cho Lưu Cẩm Đường chiêu mộ thêm tinh binh từ Hồ Nam, nâng tổng số người gốc Hồ Nam trong quân Tây chinh lên tới 17.000 người, cộng thêm 16 đạo quân của Trương Diệu tạo thành lực lượng chủ lực của quân Tây chinh, tiếp theo quân Thục, quân Hoài cũng gia nhập đội quân Tây chinh, nâng tổng số quân lên tới 8 vạn người.Tả Tôn Đường thành lập quân Tây chinh gồm nhiều sắc tộc Hán, Mãn, Hồi. Quân Hán và Hồi do Đổng Phúc Tường chỉ huy, quân Mãn do Ngạc Nhĩ và Khánh Nhạc chỉ huy. Ông giáo dục tinh thần chiến đấu cho binh sĩ, ông nói: "Tân Cương từ thời Hán đã thuộc về Trung Quốc, còn người A Cổ Bá chỉ là dị tộc. Cuộc chiến tranh này là để thu hồi biên cương cho tổ quốc, vì thế các tướng sĩ phải có ý thức quân dân một nhà".

Sau 6 năm chuẩn bị kỹ càng, tháng 3 năm 1876, Tả Tôn Đường đặt bộ tư lệnh quân Tây chinh ở Túc Châu. Tháng 8 năm 1876, quân Thanh bắt đầu xuất phát với phương châm tiến chậm đánh thắng. Binh sĩ hành quân hơn 2 tháng vượt 2000 dặm gặp địch là đánh, khẩu phần ăn chỉ có 8 ngày nên trong hành trang ai cũng phải mang theo khoai lang. Mỗi binh sĩ đeo mười mấy cân khoai chạy trên sa mạc nóng bỏng, tinh thần chiến đấu hi sinh quên mình.

Quân Thanh do Lưu Cẩm Đường, Đạo đài Tây Ninh chỉ huy tiếp cận thành Ô Lỗ Mộc Tề đến tháng 11 thì công hãm thành Mã Nạp Tư Nam (Manasi), tiêu diệt quân A Cổ Bá ở dải biên giới phía bắc, sau đó quân Thanh từ Ô Lỗ Mộc Tề tiến xuống phía nam công hãm thành Đạt Bản, nơi A Cổ Bá tập trung nhiều quân tinh nhuệ, tiêu diệt quân chủ lực của A Cổ Bá tại đây. Sau đó quân Thanh do Trương Diệu chỉ huy tiến đến Khắc Thác Khắc Tôn, Thổ Lỗ Phan. A Cổ Bá tại Khố Nhĩ Lạc (Korla) thế cùng phải tự sát. Tháng 1 năm 1878, Đổng Phúc Tường chiếm lại Vu điền. Quân Thanh liên tiếp thu hồi các thành Khố Xa, A Khắc Tô (Aksu), Hòa Văn… đến năm 1878 biên giới phía nam hoàn toàn thuộc về Trung Quốc.